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Die f bigenden Angaben sind den vom AniiMldor eingereichten Untorlagan entnotnmen 

Prufungsantrag gem. § 44 PatG ist gestellt 

(g) Verfahren und Vorrichtung zum Oberwachen von Objekten 

@ Die Erfindung betrlfft ein Verfahren und eine Vorrich- 
tung zum Oberwachen von Objekten. Die Erfindung eig- 
net sich sowohl fur die Obenwachung von automatisier- 
ten Produktionsablaufen als auch fur die sicherheitstech- 
nische Obenwachung von.Maschinen. Das Verfahren zum 
Obenwachen von Objekten umfaSt die Verfahrensschritte: 
Definieren von Objektlclassen, optisches Erfassen der zu . > 

uberwachenden Objekte, Erzeugen eines Biides dieser 
Objekte, Zerlegen dieses Biides in Bildsegmente, Zusam- 
menfassen benachbarter Bildelemente mit gleichen Ei- 
genschaften zu Objektbereichen, Ableiten von Klassifika- 
tionsmerkmalen der Objektbereiche und Zuordnen der 
Objektbereiche zu den Objektklassen. 
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Beschreibung 



Die Erfindung betriflfl ein Verfahren und eane Vorrichtung 
2um f)berwachen von Objekten. 

Aus sicherhdtstechDischen Grunden ist dieOberwachung 
von Arbeitsraumen an Maschinen und Anlagen, insbeson- 
dere zum Schutz von Personen, aber auch zum Schuiz der 
Maschinen und Anlagen, erforderlich. Seiche Maschinen 
sind beispielsweisc Biege- und Abkantpresacn sowie Son- 
dennaschinen, wie Druckereimaschinen, Maschinen zur Pa- 
picrhcrstcUung, Walzcn und Maschinen zur Gummivcrar- 
beitung*. 

£s ist bekannt, zur sicherheitstechnischen t}berwacbung 
von Arbeitsraumen bertihrungslos wirkende Schutzreinrich- 
tungen, wie z. B. lichtschranken, Lichtgittem und Lasers- 
cannei; einzusetzen. Dariiber hinaus wird der Schutz von 
Personen durch Zugangssicherungen, wie z. B. durch feste 
Oder bewegliche Verkleidungen und Verdeckungen, Umhau- 
sungen und Einzaunungen, gewahrleistet 

Solche Schutzeinrichtungen behindem und erschwercn 
aber die Bedienung von Maschinen, wodurch der Anreiz 
entsteht, diese Schutzeinrichtungen auBer Kraft zu setzen 
Oder zu unigehcn. Da dies mcist mil relativ geringem Auf- 
wand moglich ist, kommt es deshalb inimer wieder zu 
schwcroi Unfallcn. Fcmcr konncn dicsc hcrkommlichcn 
Schutzeinrichtungen ublicherweise nur mil hohem Aufwand 
an neue bzw. veranderte Situationen und Umgebungsbedin- 
gungen des Gefahrenraumes angepaBt werden. Beim Ein- 
richten der Maschinen miissen die Sicherheitseinrichtungen 
zum Tetl aufier Kraft gesetzt werden. Schliefilich eignen 
sich die biekamiten Schutzeinrichtungen .nicht zur ttberwa- 
chung von groBflachigeo GefahzenrSumen, wie sie im TJm- 
feld von Kranea und Robotem vorkommeo, sondem ledig-. 
lich zur Oberwachung von relativ kldnen Arbeitsraumen an 
Maschinen und Anlagen. 

Bei der Oberwachung von Strafienveikehr werden opti- 
sche Oberwachungssysteme mit automatischer Bildauswor- 
tung eingesctzt Diese Systeme vcrwendcn allcrdings an- 
wcnduhgsspczifischc Auswcrtcalgorithmcn, die den obcn- 
beschriebenen Anforderungen funktionell nicht gerecht 
werden. 

Es ist eine Aufgabe der vorliegenden Erfindung, ein Ver- 
fahren und eine Vorrichtung anzugeben, mil denen Objekte 
zuveriassig iibenvacht werden konnen. Das Verfahren und 
die Vorrichtung soUen vorzugswdse flexibel an veranderli- 
che IJmgebungsbedingungen anpafibar seih. 

Femer sollen das Verfahren und die Vorrichtung sowohl 
fUr eine sicherheitstechnische Oberwachung als auch fOr 
eine Oberwachung von Produktionsflttssen in automatisier- 
ten Anlagen geeignet seiri. 

Diese Aufgaben werden durch ein Verfahren mit den im 
Patentanspruch 1 angegebenen Merkmalen und durch eine 
Vorrichtung mit den im Patentanspruch 7 angcgcbcncn 
Meikmalen geldst 

Vorteilbafterweise vermeidet die Erfindung die Behinde- 
rung bd der Bedienung von Maschinen und Anlagen. Dar- 
iiber hinaus ist das Aufierkraftsetzen des Oberwachungssy- 
stems mit Hilfe der Erfindung erschwert, wodurch eine hd- 
here Sicherheit gewahrleistjet wird. Ein weito-er Xforteil der 
Erfindung besleht darin, daB das Verfahren bzw. die Vorrich- 
tung leicht an neue oder verSnderte Situationen bzw. Umge- 
bimgsbedingungen des Gefahrenraumes angepafit werden 
konnen. Die erfindungsgemafie Vorrichtung ist aufierdem 
einfach zu installieren und zeichnct sich durch relativ ge- 
ringe Anschaffiingskosten aus. 

In einer vorteilhaftcn Ausgcslaltung der Erfindung wird 
aufgiund des Verhaltens der uberwachten Objekte ein Si- 
cberfadtsmechanismus ausgelost V:>rteilbaft^eise wird 



dabei nicht nur eine Abweichung von einem Normbild als 
Ja-/Nein-Entschddung erfaflt, sondem die Art der Abwei- 
chung kann zuveriassig bestimmt werden. Mit Hilfe des 
Verfahrens karui aufgrund des Vsrhaltens der Uberwachten 

5 Objekte eine dififerenzierte Entscheidung dabingehend ge- 
troffen werden, oh ein Sicheifaeitsmechanismus ausgddst 
werden muB oder nichL 

Eine weitere Verbesserung der Erfindung besteht darin. 
daB ein Referenzbild ohne zu Oberwacherxie Objekte crstellt 

10 wird. Mittels eines Referenzbild-Differenzverfahrens wird 
dn rclcvantcr Suchraum dngcschiiankt Dadurch wird die 
Oberwachimg eridchtert und beschleunigt 

Die aktuellen IJmgebungsbedingungen kotmen in einer 
weiteren Ausfuhrungsform der Erfindung durch standige 

IS Adaption von Parametem, wie dem Referenzbild, den Kias- 
sifikationsmeikmalen und/oder Schwellwerten von Verar- 
bdtungsalgorithmen beriicksichtigt werden. Auf diese 
Weise kann das Verfahren bzw. die Vorrichtung wirkungs- 
voll in einen auiomalisienen ProzeB eingebunden werden. 

20 \brteilhafterweise werden zum Ableiten der Klassifikati- 
onsmerionale statistische Werte der Objektbereiche, wie 
Grauwert-Mittelwert, Entropie, Vmdm oder Kontrast, imd/ 
odo- geometrische Werte dw Objektbereiche, wie Koordina- 
ten, Umfang oder Rachwiinhalt, bercchnet Vorteilhaflcr- 

25 wcisc konncn mit Hilfe dicscr Wcrtc Objektbereiche cindcu- 
tig den Objektklasseii zugeordnet werden. Die Zuordnung 
kann mit Hilfe von Klassifikationsverfahren, wie der Fuzzy- 
Pattern- Klassifikation, erfolgen. 

In einer weiteren vorteilhaflen Ausfuhrungsform der Er- 

30 findung ist die Hinrichtung zum optiscben Eifassen dne Ka- 
mera, insbesondere eine monochrome CCD-Kamera. 

Die Erfindung wird nachfolgend anhand von Ausftib- 
rungsbeispielen unter Bezug auf die Zeichnung nSher be- 
schrieben. In dieser zeigen: 

33 Fig. 1 ein Bild eines von oben gesehenen Arbeitsraumes 
nut Uberwachten Objekten, wobd das gesamte Bild in regel- 
mafiige Bildelemente aufgeteilt ist. 

Fig. 2 ein Bild des Arbeitsraumes aus Fig. 1, wobd das 
Objcktbild vom Hintcrgrund gctrcnnt ist, 

40 Fig. 3 ein Bild des Arbeitsraumes aus Fig. 1 mit logisch 
als zusammengehdrig erkannten Bildberdchen, 

Fig. 4 ein Bild des Arbeitsraumes aus Fig. 1 mit logisch 
als zusammengehdrig erlcarmten Bildbereichen, wobei das 
Objektbild vom Hintergrund getrennt ist, und 

45 Fig. 5 ein Ausfuhrungsbeispiel des erfindungsgemafien 
Verfahrens. 

Bei dem in Fig. 1 gezeigteii Bild eines zu Uberwachenden 
Raumes.erfolgt die Zuordnung kleiner Bildelemente 2 zu 
Objektklassen mit Hilfe von Klassifikationsmeikmalen, die 
50 aufgiund statistischer Werte der Objektbereiche 3 abgeleitet 
sind. In diesem Bdspiel sind die Objekddassen als "Blech** 
und "Hand** definiert 

Die in dicscm Verfahren cizcugtcn Bildelemente wciscn 
eine regelmafiige Gestait, z. B. in Form von Quadraten mit 
55 lO'Pixel Kantenlange, auf. 

Die Objekte "Hand" und "Blech" werden aufgrund ihrer 
Oberflacbcnbeschaffenheit eilcannt und klassifiziert Dazu 
wird das in Fig. 1 gezeigte Bild in Bildelemente 2 segmen- 
tiert Benachbarte Bildelemente 2, die gleiche FJgenschaf)en 
60 aufweisen, werden zu Objektbereichen 3 zusammengefaBt. 
FUr diese Objektbereiche weiden statistische Werte. wie 
z. B. Grauwert-Mittelwert, Entropievarianz oder Kontrast 
berechnel. Aus deiu daraus gewoimenen Ergebnis werden 
Klassifikationsmerkmale abgeleitet, anhand dcrer die Ob- 
65 jektbereiche 3 vorher definieiten Objektklassen, in diesem 
Beispiel "Hand", "Blcch", zugeordnet werden. Dieses. Ver- 
fahren kann dadurch beschleunigt werden, dafi, wie in Fig. 2 
gezeigt, mit Hilfe eines Referenzbild-Differenzverfahrens 
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das Objektbild vom Hintei^gnind getrennt wird und somit die 
zu klassifizierenden Bildbereiche eingeschrankt werden. 
Die in der Fig. 2 verwendeten Bildelemente 2 sind, wie bei 
dem Bild aus Fig. 1, regelmafiige Quadrate. 

F^rner kann, wie in Fig. 3 gezeigt, die Klassifikation von 
im Bild als logisch zusanunengehOrig erkannter Biidberei- 
. che erfolgen, die reale Objekle beschreiben. Diese Bildbe- 
reiche sind dann nicht mchr regelmaBig, sondem unter- 
schiedlicb grofl. Auch dieses Verfahren lieBc sich auf das 
Originalbild (Fig. 3) oder auf das vom Ilintcrgrund gc- lO 
Ircnntc Objektbild (Fig. 4) anwcndcn. 

In Fig, 5 ist ein aus drei Schritten bestehendes AusfUh- 
ningsbeispiel gezeigt, bei dem das nach dem dritten Schritt 
gewonnene Ergebnis im Rahmen einer Prozefisteuerung 
weiterverarbeitet wird. Dabei kommt es im AnschluB an das IS 
tFberwachungsverfahren zu einer Hntscheidungsfindung 
und Einieitung einer Reaktion, wie beispielsweise dem Ab- 
schalten einer Maschine. 

Im eisten Schritt wird mittels einer monochromen CCD- 
Kamera ein Bikl des zu Qberwachenden Raumes aufgenom-. 20 
men. Dieses Bild wird miitels eines entsprechenden frame 
grabbers digitalisiert und kann.dann in einem PC-Speicher 
ausgewertet weiden. Mit Hilfe einer kUnstlichen Beleucb- 
tung des zu uniersuchenden Raumes kann der Bildkontrast 
crhdht und sich andcmdc Bclcuchtungsvciiialtnissc kom- 25 
pensiert werden, was zu einer Veibesserung der Auswertbar* 
keit des Biides beitragt. 

Eine gute Trennung der zu iiberwacheriden Objekte vom 
Hintergrund kann erzielt werden, wenn in einem Inidalisie- 
rungsschritt ein Referenzbild des iiberwachenden Raumes 30 
aufgenommen wird, das den Hinteignind ohne ru iiberwa- 
chende Objekte enthalL Durch Anderimg der Beleuchtungs- 
verbaltnisse und HinzufUgen oder Entfemen von Gegen- 
standMi kann sich der Hintergrund mit der Zeit verandem. 
Deshalb mufi das Referenzbild mit Hilfe gedgneter Verfah- 3S 
ren regelmafiig den veranderten Bedingungen angepafit wer- 
den. 

Durcb Berechncn der Diflfcrenz zwischcn dem aktuellen 
Bild, das die zu iiberwachenden Objekte cnthalt, und dem 
Referenzbild werden im zweiten Schritt alle Bildpunkte be- 40 
rechnet, die offeiisicbtliche Unterschiede zu dem vom Refe- 
renzbild dargestellten leeren Hintergrund aufwdsen. Auf 
diese Weise wird der relevante Suchraum eingeschrankt 

Das so erfaaitene Bild wird im dritten Sctuitt in Bildele- 
mente zerlegt, die eine bestinunte zwddimensionale Ober- 4S 
flachencharakteristik aufweisen. Durch morphologische 
Operaloren werden benachbarie Bildelemente 2 mit glciicber 
Obertiachencharakteristik bzw. gleichen Eigenschaflen zu 
zusammenhSngenden Objektbereichen 3 zusammengefafit. 
Aus den so cntstandenen Objektbereichen 3 werden Klassi- 50 
fikationsmerkmale abgeleitet, die sich aus statistischen Wcr- 
ten, wie z. B. Grauwert-Mittelwert, EnUnopie, \Wanz oder 
Kontrast, und/odcr gcomctrischcn Wcrtcn, wic z. B. Lagc in 
X- bzw. y-Richtimg, Umf ang oder Flacheninhalt berechnen. 
Auf Grundlage dieser Klassifikationsmerionale wild mit 55 
Hilfe eines Klassifikationsverfahrens, wie z. B. der Fuzzy- 
Pattem-Klassifikauon, die Klassenzugehorigkeit in der Ob- 
jektbereiche 3 zu vorfaer de&nierten Objektklassen be- 
stimmt Diese Klassen kdnnen z.B. ein Xorpertei), ein 
WerkstOck oder eine Maschine sein. Mit Hilfe logischer Be- go 
ziehungen kdnnen nun nocb benacbbarte Objektbereicbe 3 
gleicher Klassenzuordnung zu globalen Objekten zusam- 
mengefafit werden. 

Auf diese Weise ist also nicht nur die Position des drcidi- 
mensionalen Objektes 1, sondem auch dessen Art im Bild 65 . 
• bestinmiL 

Mit Hilfe der so gewonnenen Informadonen kann das 
Verfaalten der identifizierten Objekte im Bild Qberwacht 
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werden. Das bedeutet, daB sich das Verfahren bzw. die Vor- 
richtung zur Oberwachung von automatisieiten Produkti- 
onsvoi^angen sowie fur die Oberwachung von Maschinen 
uhter sicherheitstechnischen Aspekten eignet 

PatentansprOche 

1. Verfahren zum Dberwachen von Objekten (1) mit 
den Verfahrcnsschritten: 

- Definicren von Objektklassen; 

- optischcs Erfasscn der zu Qberwachenden Ob- 
jekte (1); 

- Erzeugen eines Biides dieser Objekte (1); 

- Zerlegen dieses Biides in Bildelemente (2); 

- Erkennen von Bildelementen (2), die aufgrund 
der Oberflachenbeschalfenheit imd/oder Geomer 
trie der zu uberwachenden Objekte gleiche Eigen- 
schaften aufweisen; 

- Zusammenfassen benachbarter Bildelemente 
(2) mit gleichen Eigenschaften zu Objektberei- 
chen (3); 

- Ableiten von Klassifikationsmerkmalen der 
Objektbereicbe (3); 

- Identifizieren der Objekte d\irch Zuordnen der 
Objektbereicbe (3) zu den Objektklassen anband 
der Klassifikadonsmerianale und 

- Weiterverarbeiten des dadurch gewonnenen Er- 
gebnisses im Rahmen einer Prozefisteuerimg. 

2. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, daB aufgrund des Verhaltens der uberwachten Ob- 
jekte (1) im Rahmen der ProzeBsteuerung ein Sicher- . 
heilsmechanismus ausgelost wird 

3. Verfahren nach wenigstens einem der Anspriiche 1 
und 2, dadurch gekennzeichnet, daB ein Referenzbild 
ohne zu tlberwachende Objekte (1) erstellt wird und ein 
relevanter Suchraum mittels eines ReferenzbildcUffe-- 
renzveifahrens eingeschrankt wird. 

4. Verfahren nach Anspruch 3, dadurch gekennzeich- 
nct, daB aktucUc Umgcbungsbcdingungcn durch stan- 
dige Adaption von Parametem, wie dem Referenzbild, 
den Klassifikationsmerkmalen und/oder Schwellwer- 
isn von Veraibeitungsalgorithmen, beriicksichtigt wer- 
den. 

5. Verfahren nach wenigstens einem der vorangegan- 
gen AnspriSche, dadurch gekennzeichneti daB zum Ab- 
idten der Klassifikationsmerkmale statistische l^rte 
der Objektberdche (3), wie Grauwertmittelwert, En- 
uopie, Varianz oder Kontrast, und/oder geometriscfae 
Werte der Objektbereicbe (3), wie Koordinatm, Um- 
fang oder Flacheninhalt, berechnet werden. 

6. Verfahrwi nach wenigstens einem der vorangegan- 
gcn Anspriiche, dadurch gekennzeichnet, daB das Zu- 
ordnen der Objektbereicbe (3) zu den Objektklassen 
unter Zuhilfenahme von Klassifikatibns- Verfahren, wie 
der Fuzzy-Pattern- Klassifikation, erfolgt 

7. Vorrichtung zur Oberwachung von Objekten (1) mit 

- einer Hinrichtung zum Definieren von' Objekt- 
klassen; 

- einer Hinrichtung zum optischen Hrfa.ssen der 
zu Uberwachenden Objekte (1); 

- ema Bildverarbeitungseinricbtiing, mit deren 
Hilfe die optiscb erfafiten Objekte (1) zu einem 
Bild verdibeitbar sind; 

- dner Einrichtung, mit deren Hilfe das Bild in 
Bildelemente (2) zerlegbar ist; 

- dncT Einrichtung zum Erkennen von Bildele- 
menten (2), die aufgrund der Oberflacbenbescbaf- 
fenheit und/oder Geometne der zu Qberwachen- 



DE 100 02 085 A 1 

5 

den Objekte gleiche Eigensdiaften aufweisen; 

- einer Einrichtung zum Zusanunenfassen be- 
nachbaner Bildeiemente (2) mit gleichen Eigen- 
schaflen zu Objektbereichen (3); 

- einer Einrichtung zur Ableitung von Klassifika- 5 
donsmerkmalen der Objekibereiche (3); 

- einer Einrichtung zum Identifizieren der Ob- 
jekte durch Zuordnung der Objekibereiche (3) zu 
den Objektklassen anhand der Klassifikations- 
merkmale und 10 

- einer Einrichtung zur Wcitcrvcrarbcitung dcs 
dadurch gewonnenen Ergebnisses im Rahmen ei- 
ner Prozefisteuerung. 

8. Vomchlung nach Anspnich 7, gekennzeichnet 
durch eine Einrichtung, mit deren Hilfe aufgrund des 15 
Verhaltens der iiberwachlen Objekte (1) im Kahmen 
der Prozefisteuerung ein'Sicherheitsmechanismus aus- 
losbarisL 

9. Vorrichtung nach wenigslens einem der Anspruche 

7 und 8, dadurch gekennzeichnet, dafi die Einrichtung 20 
zur Ableitung von Klassifikationsmerkmalen eine Hn- 
richtung zur Berechnung statistischer Wcrte der Ob- 
jektbereichc (3), wie Grauwertmittelwert, Entropie, 
Varianz oder Kontrast, und/oder geometrischer Werte 
dor Objclctbcrcichc (3), wie Koordinatcn, Umfang odcr 25 
Rjfcheninhalt, umfafit 

10. Vorrichtung nach wenigstens einem der Anspriiche 
7 bis 9, dadurch gekennzeichnet, dafi die Einrichtung 
zum optischen Erfassen eine Kamera, insbesondere 

eine monochrome CCD- Kamera ist. 30 - 

11. Fertigungsvorrichtung mit einer Voxrichtung nach 
weoigstens einem der Anspruche 8 bis 10 zur sidier- 
heilslechnischen tJberwachung da: Fertigung. 
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